Sự thành lập của liên minh châu Phi bắt nguồn từ liên minh các quốc gia châu Phi (Union of African States), một liên bang ban đầu do Kwame Nkrumah thành lập thập niên 1960, cũng như một loạt các cố gắng để đoàn kết châu Phi, bao gồm Tổ chức châu Phi Thống nhất (OAU), được thành lập ngày 25 tháng 5 năm 1963, và Cộng đồng Kinh tế châu Phi năm 1981. Các nhà phê bình cho rằng OAU đã làm ít công việc để bảo vệ quyền và tự do của công dân châu Phi từ các lãnh đạo chính trị của họ, thường nó được mang tiếng là "Câu lạc bộ của những nhà độc tài.[1]

Ý tưởng thành lập AU đã được hồi sinh vào giữa thập niên 1990 bởi nhà lãnh đạo Libya Muammar al-Gaddafi: người đứng đầu của OAU đã phê chuẩn Tuyên bố Sirte (đặt tên theo Sirte, ở Libya) vào ngày 9 tháng 9 năm 1999, nhằm kêu gọi thành lập Liên minh châu Phi. Sau tuyên bố trên là hội nghị thượng đỉnh ở Lomé năm 2000, khi đó Luận về Liên minh châu Phi được thông qua, và tại Lusaka năm 2001, khi kế hoạch thực hiện của Liên minh châu Phi được thông qua. Cùng thời gian này, sáng kiến ​​cho việc thành lập Đối tác mới vì sự phát triển của châu Phi (NEPAD) cũng được thành lập.

Liên minh châu Phi chính thức thành lập ở Durban vào ngày 9 tháng 7 năm 2002, bởi chủ tịch đầu tiên là người Nam Phi Thabo Mbeki, tại kỳ họp đầu tiên của Hội đồng liên minh châu Phi. Kỳ họp thứ hai của Hội đồng này được diễn ra tại Maputo năm 2003, và thứ 3 ở Addis Ababa ngày 6 tháng 7 năm 2004.